La parte più alta di Spigno Saturnia è dominata dai ruderi del Castello Medioevale, una poderosa fortezza interamente costruita in pietra locale, con alta torre quadrata e torrioni laterali. La rocca sorge nella parte più alta dell’abitato di Spigno, su un pendio orientale scosceso del Monte Petrella, sui Monti Aurunci a controllo dei traffici della via Ercolanea.

Intorno all'anno Mille una famiglia di origine normanna, di cui non si conosce il nome, costruì il "Castrum" (fortezza), ponendo le sue fondamenta su uno sperone di roccia a forma trapezoidale. Tutto l'impianto è circondato da una cinta muraria, munita di torri di guardia e di torrioni laterali.
Nel corso dei secoli, il Castello subì notevoli danneggiamenti. Nel 1690, della fortezza rimaneva in piedi soltanto l'alta torre quadrata con gli edifici in rovina, compresa la chiesa di San Lorenzo, sita all'interno dell'impianto, nella cripta della quale si notano ancora oggi tracce di affreschi probabilmente di scuola benedettina. Abolita la feudalità (1806) il Castello divenne proprietà privata e da allora le strutture murarie subirono un progressivo abbandono. Alla fine di gennaio del 1944, a causa delle operazioni di guerra lungo la vicinissima linea "Gustav", i Tedeschi fecero saltare in aria l'alta torre, causando danni irreparabili alle restanti parti dell'impianto. Oggi restano i due torrioni cilindrici.